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L’evaluation des programmes d’etudes 
reorientee par 1’utilisation 
d’un modele de simulation 


GILLES PIEDALUE et PIERRE FEUVRIER* 


RESUME 

Cet article propose d’abord une definition synthetique et operationnelle capable 
d’integrer les aspects politiques et techniques de revaluation institutionnelle des 
programmes d’etudes. II presente ensuite un modele qui tient compte de la 
problematique complexe de revaluation, modele dont I’implantation sur ordi- 
nateur dynamise tout le processus de son asservissement aux contraintes de 
I’environnement institutionnel. 


ABSTRACT 

This article proposes first a synthetical and operational definition capable of 
integrating the political and technical aspects of institutional evaluation of 
academic programs. Second, it presents a model that takes into account the 
complex problem of evaluation. When the model is used on a computer, it makes 
the process of his reduction to the requirements of the institutional environment 
more dynamic. 


Depuis quelques annees, revaluation institutionnelle des programmes d’etudes 
est devenue un important sujet de preoccupations. Le volume des publications 
qui s’y rattache en temoigne. Malgre tout, revaluation reste un univers flou dans 
lequel il est difficile de trouver des points de repere. Le besoin d’une definition 
synthetique et operationnelle de revaluation institutionnelle est toujours pre¬ 
sent. De plus, une necessite s’impose, celle d’organiser la rencontre entre I’espace 
politique et I’espace technique de revaluation. L’ensemble des modalites qui 
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conditionnent cette rencontre determine dans une large mesure le succes de 
toute entreprise d’evaluation institutionnelle et les tentatives recentes en cette 
matiere montrent, de fafon eloquente, que {’existence d’un cadre oil puissent 
se resoudre les problemes politiques et techniques fait generalement defaut. 

Lorsqu’ils sont utilises, les modeies sont habituellement statiques, trop rigides 
pour repondre aux contraintes fluctuantes de revaluation. Ce que nous entendons 
faire ici, c’est de proposer un modele d’evaluation, un modele simple capable 
de tenir compte de la problematique complexe de {’evaluation, mod^e dont 
I’implantation sur ordinateur dynamise tout le processus de son asservissement 
a I’environnement institutionnel, lequel asservissement, a la volonte des evalua- 
teurs, reste une etape critique dans toute operation d’evaluation, ce que la 
plupart des auteurs sdulignent (Calvert, 1981; Furumark, 1981; Hymans, 1982; 
Sizer, 1982). 

Generalement negliges, les aspects techniques de revaluation font ici I’objet 
d’une attention particuliere. Notons par contre les travaux des auteurs suivants: 
Belanger (1979); Belanger et Tremblay (1982); Malouin et Landry (1983). 
Integres dans le modMe, les elements d’information, les criteres, les normes, les 
ajustements qualitatifs, les ponderations et les cotes forment un ensemble 
plastique dont tout le fonctionnement mecanique est montre. 

Enfin, les effets de retroaction engendres par {’utilisation du modele sont 
enumeres. Les qualites heuristiques du modele permettent de definir progres- 
sivement la nature et la forme de I’activite d’evaluation. Le choix d’un modele 
d’evaluation institutionnel determine les elements d’information que le systeme 
d’information de {’institution devra etre en mesure de fournir. La determination 
des elements d’information necessaires a la decision devrait permettre ultime- 
ment {’adequation entre les besoins d’information et la production du systeme 
d’information. 


L’UNIVERS FLOU DE L’EVALUATION 

Aborder le theme de revaluation, c’est entrer dans un monde aux abords imprecis. 
Dans cet univers flou, les diverses problematiques, les aspects techniques et 
politiques de revaluation s’entremelent dans un echeveau presque inextricable. 
L’espace politique correspond a I’ensembie hierarchise des responsabilites et 
des activites en matiere d’evaluation. L’espace technique recouvre I’ensemble des 
elements d’information, des criteres, des normes et des instruments d’evaluation. 
La rencontre de ces deux espaces passe par I’harmonisation des systemes de 
valeurs des responsables de revaluation situes aux divers paliers de la structure de 
decision. Cette rencoptre est facihtee par I’utilisation d’un modele de simulation 
assiste par ordinateur. 

L’evaluation institutionnelle des programmes d’etudes, une definition 

L’evaluation peut etre definie a partir du concept de systeme applique a {’ensemble 
des elements constitutifs d’un programme d’etudes.' La figure 1 represente 
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Figure 1 : Le systeme prograrrene d'gtude, aspects sur lesguels doit 
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schematiquement le systeme programme d’etude. Le programme apparaft comme 
un systeme compose de deux elements principaux; un bloc de traitement avec 
ses entrees et ses sorties, et un bloc de pilotage occupe par les responsables du 
programme. Entrent dans le programme des etudiants, de la main d’oeuvre 
(personnel d’enseignement, personnel de support) et de I’equipement (sous forme 
d’espaces d’enseignement et d’equipements divers). II sort du programme: des 
etudiants de diverses categories (diplomes, abandons, echecs), de I’equipement 
deprecie, un personnel a perfectionner ou a reintroduire. Symbolise par le bloc 
de traitement, le programme se compose de I’ensemble des conditions d’admis- 
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Figure 2 : ChaTne de pilotage d'un systeme programme d'gtude , 
representation modular re 
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sion, de sa structure, des regies administratives et pedagogiques, des activites 
(contenu, methode pedagogique utilisee, des regies d’evaluation). Le programme 
est place sous le controle du bloc de pilotage occupe par ses responsables. Ceux- 
ci determinent les objectifs du programme, adoptent les directives pedagogiques 
et administratives. lls examinent, pour leur gouverne, les controles fixes au cadre 
du bloc de traitement. Determines par les pilotes, les controles peuvent etre 
multiples. lls correspondent a des elements d’information tels que le taux de 
“diplomation”, le taux de placement ou les couts du systeme. 

L’evaluation peut etre definie comme une activite au meme litre que les 
activites d’enseignement. Rappelons-le, toute activite est pilotee par les respon¬ 
sables du systeme. Cette definition systemique appliquee aux programmes 
d’etudes implique une hierarchisation des responsabilites par rapport a la pro- 
grammation. Par le fait meme, elle implique une hierarchisation des activites 
d’evaluation propres a chaque palier de la structure de decision. La figure 2 
montre une chaine de pilotage d’un systeme programme d’etude plus complexe. 
Elle represente trois programmes d’etudes respectivement controles par un bloc 
de pilotage. On note que chaque bloc de pilotage possede ses propres controles. 
Ces trois ensembles fondent le palier de decision inferieur. Le palier superieur 
est forme du bloc de pilotage qui pointe le bloc de traitement englobant les trois 
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ensembles du palier inferieur. Cette representation modulaire traduit bien la 
forme hiearchisee des responsabilites par rapport a la programmation et a reva¬ 
luation. Les fleches faites d’un trait continu montrent I’origine des directives et 
pointent le lieu ou elles s’appliquent. Par centre, cedes faites d’un trait discontinu 
indiquent I’importance de la marge de manoeuvre laissee aux ensembles du 
palier inferieur. 

Cette repre'sentation illustre le fait que les activite's d’e'valuation lieesau niveau 
superieur ne sont pas de meme nature que cedes reliees au niveau inferieur. Si 
on associe devaluation institutionnelle a une activite du niveau superieur, il va de 
soi que les controles qui lui correspondent sont differents de ceux associes a une 
activite d’evaluation du niveau inferieur. L’evaluation institutionnelle devient 
alors une activite ayant pour but la revue cyclique des programmes d’etudes 
permettant d’identifier les programmes en difficultes. Cette evaluation se fait a 
I’aide d’elements d’information propres a ce palier de decision (taux de diploma- 
tion, taux d’abandon, taux de placement, couts d’enseignement, etc.). Les activites 
d’evaluation du palier inferieur peuvent etre une reponse aux activites d’evalua¬ 
tion du palier superieur. Cette evaluation peut se faire a I’aide d’elements d’infor¬ 
mation differents, plus qualitatifs peut-etre que quantitatifs. 

L’espace politique de devaluation institutionnelle 

Avant de poser un probleme technique, revaluation institutionnelle dans les 
universites pose un probleme politique specifique. La plupart des auteurs, en 
particulier Romney, L.C., Bogen, G. & Micek, S.S. Arreola (1979) et Ostergren 
(1979) soulignent I’importance de cette difficulte. L’harmonisation pre'alable des 
systemes de valeurs des responsables de I’activite d’evaluation conditionne sa 
realisation et doit se faire entre les responsables situe's aux divers paliers de la 
structure de decision. 

Tout, dans I’activite d’evaluation institutionnelle, doit faire I’objet d’une 
entente minimale entre les responsables des divers paliers; la determination des 
objectifs et le choix de I’ensemble des criteres, des normes et des instruments 
d’evaluation. Sans un tel consensus, il y a peu de chance qu’une reponse satis- 
faisante soit donnee par les responsables du palier inferieur. Au contraire, comme 
le mentionne Romney (1979), revaluation institutionnelle risque de creer plus 
d’inconvenients que d’avantages pour les decideurs. 

L’espace technique de revaluation institutionnelle 

L’aspect technique de revaluation institutionnelle souleve aussi de serieuses 
difficultes. La plus importante reside dans la mise au point d’un instrument 
efficace, lequel doit permettre I’integration des elements d’information,^ des 
criteres et des normes retenus par les evaluateurs.** L’instrument doit avoir la 
souplesse necessaire pour permettre son asservissement a la volonte des evalua- 
teurs tout en tenant compte des contraintes de I’objet de I’analyse. Les elements 
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d’information, les criteres et les normes doivent pouvoir etre modifies tout au 
long du processus d’harmonisation des systemes de valeurs des decideurs sans 
que I’instrument se desintegre pour autant. 

Les qualites recherchees pour un tel outil ont souvent retenu I’attention des 
auteurs. Soulignons en particulier Clift (1981) et Sizer (1979). On s’entend sur 
les six qualites suivantes: 

1. possibilite d’integration de I’ensemble des elements d’information, des criteres 
et des normes; 

2. possibilite de modifier par ajout ou par retrait les elements d’information, les 
criteres et les normes; 

3. possibilite de simulation par la variation des criteres et des normes; 

4. possibilite d’ajouter de la qualite a la quantite par la ponderation des divers 
elements; 

5. possibilite de mise en rapport constante du programme evalue avec un pro¬ 
gramme moyen ou theoriquement ideal; 

6. possibilite de classement des programmes d’etudes evalues selon une cote 
generale. 

Compte tenu de telles exigences, I’instrument selon nous doit etre construit 
sur le site meme de revaluation, a la mesure des evaluateurs. Ce choix est deter¬ 
mine en grande partie par le caractere heteroclite des instruments disponibles qui 
sont dans I’ensemble de nature trop particuliere ou trop generale pour les besoins 
de revaluation institutionnelle. On est habituellement confronte a des outils tres 
sophistiques conjus pour revaluation d’activites pedagogiques. Souvent, les 
instruments proposes correspondent a des activites d’evaluation d’un palier de 
decision beaucoup trop eleve. Les elements d’information sont alors trop rudi- 
mentaires et trop peu nombreux (Mertens, 1979). 

Toute activite administrative peut etre definie comme une activite d’evaluation. 
L’action d’evaluer cree de I’information d partir des donnees fournies par le 
systeme de gestion. II n’y a pas d’information sans evaluation. Sans evaluation, 
il n’y a que des donnees. On peut meme affirmer qu’il y a degenerescence de la 
qualite des donnees qui n’entrent pas dans ie cadre d’une activite d’evaluation. 
Cette propriete des systemes d’information impose des limites a I’acte d’evalua¬ 
tion. L’absence et/ou la qualite inegale des donnees conditionnent revaluation 
institutionnelle en limitant la portee de I’instrumentation (Somit, 1979; Hussain, 
1977). 


UN MODELE D’EVALUATION ASSISTE PAR ORDINATEUR 

Les progres recents de la micro-informatique permettent depuis un certain temps 
I’experimentation de logiciels de simulation a des fins d’evaluation institutionnelle. 
Des logiciels du type CALC comme VISICALC ou MULTIPLAN fournissent un 
moyen efficace pour construire des modMes. Conqu comme un editeur de tableau 
interactif, le CALC permet la mise au point d’un modMe dont on peut a loisir 
faire varier I’ensemble des parametres. Un modele d’evaluation fabrique avec un 
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CALC devient un instrument tres malle'able et rend, au processus d’e'valuation, 
tout son aspect dynamique; des elements d’information peuvent etre ajoutes ou 
retranches du modele, les criteres et les normes peuvent varier a volonte' rendant 
ainsi compte du travail d’harmonisation des systemes de valeurs des evaluateurs. 
Le modele fournit alors un cadre integrateur a I’ensemble des elements d’infor¬ 
mation, des criteres et des normes retenus. A la limite, le modele ainsi congu 
arrete la derive dans I’univers vague de revaluation en permettant, par I’usage 
intensif du jeu de la simulation, I’harmonisation des systemes de valeurs et 
I’integration des elements techniques de revaluation. Une certaine rencontre 
entre I’espace politique et I’espace technique de revaluation pent se realiser. 

En fait I’existence d’un modele de ce type, aussi rudimentaire soit-il, rend 
revaluation possible. Son elaboration permet la concentration et la vitalisation 
des sous-produits du systeme d’information de gestion en definissant I’espace ou 
ils seront utilises. 

Notre modele d’evaluation se presente sous la forme d’une fiche synthese par 
programme d’etudes (voir tableau 1). 

La fiche synthese dediee aux programmes de premier cycle universitaire 
Le tableau 1 presente la fiche dediee au comite d’evaluation des programmes de 
premier cycle. La fiche porte sur un programme fictif. Elle retient en ordonnee 
onze ensembles d’dldments d’information: 

1. bilan migratoire depuis I’ouverture du programme; 

2. moyenne academique et sanction graduee (depuis I’ouverturedu programme); 

3. equivalences et abandons de cours (depuis I’ouverture du programme); 

4. notation des etudiants-cours a la derniere session disponible; 

5. organisation des groupes-cours a la derniere session disponible; 

6. evolution de la clientele au cours des cinq dernieres annees; 

7. taux de placement des diplomes des trois dernieres promotions; 

8. taux de satisfaction des diplomes des trois dernieres promotions; 

9. taux de satisfaction des etudiants inscrits a la derniere session disponible; 

10. interdepartementalite du programme; 

11. cote generale. 

Chacun de ces ensembles regroupe les elements d’information juges les plus 
importants par les evaluateurs. Cette liste peut se transformer tout au long du 
processus de consultation. Nous n’entrerons pas dans la description de chacun 
des elements d’information. Nous ne tenterons pas ici de souligner leur impor¬ 
tance relative dans le cadre d’une evaluation de programme. Retenons cette 
liste qu’a titre d’illustration. 

Le fonctionnement de la fiche 

En abcisse, la fiche donne les mecanismes permettant: 

1. la definition d’un programme ideal ou theorique; 

2. la comparaison entre le programme a evaluer et le programme theorique; 

3. la ponderation et I’ajustement des resultats de la comparaison. 
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TABLEAU 1 (suite) 
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0.083 

0.93 

total 

672 

100.00 

7,407 

100.00 







total ETC anjifee 

38,940 

66.01 

309,824 

56.22 

0 

56.22 

4.555 

•attention* 

0.50 

2.28 

ETC ens. par charge de cours 

26,016 


174,187 






1.00 

3.83 


0.050 


0.19 
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Tabl eau 1 : 



.0 evolution de la clientele au 

cours des 

cinq dernieres 

annees — 


nouveaux inscrits en An-4 

727 

24.68 

6,007 

21.09 

reinscrits en An-4 

2,219 

75.32 

22,481 

78*91 

Inscriptions totales en An-4 

2,946 

100.00 

28,488 

100.00 

nouveaux inscrits en An-3 

737 

22*41 

5,976 

20.89 

reinscrits en An-3 

2,551 

77.59 

22,628 

79*11 

inscriptions totales en An-3 

3.288 

100.00 

28,604 

100*00 

nouveaux inscrits en An-2 

1 ,oto 

23.03 

7,245 

21.34 

reinscrits en An-2 

3,376 

76.97 

26,703 

78.66 

Inscriptions totales en An-2 

4,386 

100.00 

33,948 

100.00 

nouveaux inscrits en An-l 

935 

18*38 

6,824 

18.56 

reinscrits en An-1 

4,153 

81 .62 

29,935 

81.44 

Inscriptions totales en An-1 

5,086 

100*00 

36,759 

100.00 

nouveaux inscrits en An 

870 

16.32 

6,147 

16.42 

reinscrits en An 

4.461 

83.68 

31,293 

83.58 

Inscriptions totales en An 

5,331 

100.00 

37,440 

100.00 


7.0 Taux de placement des dlplomes des trois dernieres promotions - 

diplomas sondes d‘An-3 135 100.00 1,455 100.00 

dlplomes d'An-3 places 124 91.05 1,299 89.28 

dlplomes sondes d'An-2 176 100.00 1,614 100*00 

diplofnes d'An-2 places 160 90.91 1,423 88.17 

dlplomes sondes d'An-1 238 100.00 1,685 

dlplomes d'An-1 places 216 90.76 1,508 


100.00 

89.50 


de premier cycle universitaire (suite) 


1.32 

25.77 

0.063 


0.20 

0.01 



1.32 

25.56 

0.521 

• 

0.20 

0.10 



1.32 

26.05 

0.474 

• 

0.20 

0.09 



1.32 

23.03 

1.222 

• 

0.20 

0.24 



1.32 

20.67 

1.156 

• 

0.20 

0.23 







1.00 

0.69 

0.300 

0.21 

1.32 

92.83 

0.145 

• 

0.40 

0.06 



1.32 

91.88 

0.126 

• 

0.30 

0.04 



1.32 

93.02 

0.788 

• 

0.30 

1.00 

0.24 

0.33 

0.100 

0.03 
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0.0 Taux de satisfaction des diplomas des trois dernieres pro»notions 
taux de satisfaction en An-3 



1 a 1.9 

42 

31.11 

286 


2 a 2.9 

90 

66.67 

998 


3 a 4 

3 

2.22 

171 


tota 1 

135 

100.00 

1,455 

taux de 

satisfaction en An-2 





1 a 1.9 

67 

38.07 

551 


2 a 2.9 

109 

61.93 

1,024 


3 a 4 

0 

0.00 

39 


tota 1 

176 

100.00 

1,614 

taux do 

satisfactlon en An-I 





1 a 1.9 

83 

34.87 

375 


2 a 2.9 

148 

62.18 

1,139 


3 a 4 

7 

2.94 

175 


total 

238 

100.00 

1,685 

0 Satisfaction des etudiants 

inscrits a la 

session Sn 


taux de 

satisfaction en Sn 





1 a 1.9 

1 

33.33 

1 


2 a 2.9 

1 

33.33 ■ 

1 


3 a 4 

1 

33-33 

1 


tota 1 

3 

100.00 

3 


10.0 interdepartementalite du programme a la session Sn 
captage des et-c par 1 dept. 8,093 49*00 

total ETC session 3,966 

11.0 cote generale --- 


61,796 

39,565 


TABLEAU 1 (suite) 


19.66 

-1 .32 

15.09 

20.030 

•attention* 

0.13 

2.67 



68.59 

-1.32 

63.26 

0.500 

• 

0.13 

0.07 



11.75 

1.32 

15.45 

13.398 

•attention* 

0.13 

1.79 



100.00 









34.14 

-1.32 

28.69 

4.298 

•attention* 

0.10 

0.43 



63.44 

-1.32 • 

57.91 

0.663 

♦ 

0.10 

0.07 



2.42 

1.32 

4.18 

4.363 

•attention* 

0.10 

0.44 



100.00 









22.14 

-1.32 

17.37 

21.358 

•attention* 

0.10 

2.14 



67.60 

-1.32 

62.22 

0.000 

• 

0.10 

0.00 



10.27 

1.32 

13.75 

9.857 

•attention* 

o 

o 

0.99 



100.00 





o 

o 

8.58 

0.100 

0.86 


33.33 

-1.32 

27.92 

1 .458 *ettentIon* 

0.33 

0.49 



33.33 

-1.32 

27.92 

1.458 *attention* 

0.33 

0.49 



33.33 

1.32 

38.75 

1.236 * 

0.33 

0.41 



100-00 




1.00 

1.30 

0.100 

0.14 

64.03 

-1.32 

58.51 

3.727 *attention* 

1.00 

3.73 







1.00 

3.73 

0.025 

0.09 


1.000 2.96 
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Le choix de cette mecanique et des modalites de son application est asservi a 
la volonte des evaluateurs. La description qui suit pourra sembler trop technique. 
Mais, faut-il le rappeler, il ne faut pas sous-estimer I’importance des aspects tech¬ 
niques de revaluation. L’utilisation d’un instrument trop rudimentaire risque 
d’accroftre tout au plus la complexite des problemes 4 re'soudre. 

Programme observe et programme theorique 

La fiche est un ensemble structure d’eldments d’information. On appelle pro¬ 
gramme observe I’ensemble des valeurs des elements d’information appartenant 
a un programme reel de I’universite'. Un programme theorique sera un ensemble 
de valeurs significatives attributes a tous les e'lements d’information de la fiche 
qui ne correspond pas necessairement avec un programme concret, les valeurs 
significatives pouvant etre trouvees par des proce'dures plus ou moins syste'ma- 
tiques comme il sera decrit plus loin. 

Evaluer un programme revient a mesurer I’ecart entre les valeurs observees 
dans le programme reel et les valeurs etablies dans le programme theorique. 

Protocole de la comparaison 

La valeur des ele'ments d’information est du type pourcentage: pourcentage des 
abandons, pourcentage des etudiants-cours ayant une note A, pourcentage des 
diplomes dont le taux de satisfaction est compris entre 1 et 1.9, etc. 

A partir d’un pourcentage d’individus repondant au critere caracte'risant un 
element d’information, il est possible de dtduire, complement a 100 du premier, 
un second pourcentage: celui des individus ne repondant pas au dit critere. Ces 
deux pourcentages definissant la distribution d’effectifs relatifs d’un tltment 
d’information du programme observe. Get element d’information, dans le pro¬ 
gramme theorique, possede une autre distribution. Le chi-deux de ces deux 
distributions est le score brut de I’element d’information considere. 

Calcul du score brut 

Soient, pour un element d’information; 

a, le pourcentage des individus rdpondant au critere caracte'risant de 
I’element d’information dans le programme theorique; 

100-a, le pourcentage des individus ne repondant pas au critere de I’eie'ment 
d’information dans le programme theorique; ■ 

X, le pourcentage des individus repondant au critere caracte'risant rble'ment 
d’information dans le programme observe; 

100-x, le pourcentage des individus ne repondant pas au critere caracte'risant 
I’eiement d’information dans le programme observe; 

S, le score de I’dlement d’information; 

On aura alors 

(1) ^ ^ (x-a) \ [(100-x) - (100-a) f 

a 100-a 


ce qui, apres developpement donne: 
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( 2 ) 


S = (x-a)^ * 


100 

a * (100-a) 


equation dans laquelle 

S est le score brut d’un dlement d’information dont la valeur en pour- 

centage, est x dans le programme observe et a dans le programme 
theorique. 

Le score brut dans I’equation (1) se presente sous la forme d’une addition de 
deux termes positifs, carres d’une difference (elimination du signe) reduite 
(Elimination des effets de taille). Le score brut tend vers zEro, lorsque le pour- 
centage observe x s’approche du pourcentage thEorique a, il s’accroft lorsqu’il 
s’Eloigne de cette valeur. Plus ce score est elevE, plus la distance est grande entre 
les deux distributions mises dans la comparaison. 

Pour a = 20, a = 50 et a = 80, on a reprEsentE dans la figure 3,1’Evolution du 
score brut x d’un element d’information de la fiche dont la valeur en pourcentage 
varie de 0 a 100. On remarquera qu’autour de la valeur theorique le de'veloppe- 
ment du score brut est quasi lineaire. Lorsque la valeur the'orique est 50, le 
developpement du score brut est parfaitement symEtrique et varie de 1 a 100. 

Pour un pourcentage theorique fixe a 20%, le score d’un ele'ment d’information 
dont le pourcentage observe est 0% sera 25. Un Ecartde 20 points en pourcentage 
produit done un score brut de 25. Le meme ecart produit a partir d’un pourcen¬ 
tage thEorique de 50%produira un score brut egal a 16. La valeur d’un score brut 
est tributaire non seulement de I’ecart entre le pourcentage observe et le pour¬ 
centage thEorique, mais aussi de la valeur intrinsEque du pourcentage thEorique, 
autrement dit de sa place sur une echelle graduee de 0 a 100. 

Une base theorique ayant EtE choisie une fois pour toute, il est possible de 
calculer le score brut d’un ElEment d’information de la fiche dans tons les pro¬ 
grammes et d’introduire un ordre dans les resultats de cette operation puisque 
pour un element donne de la fiche, le meme repere thEorique est utilise. 

On compare, en utilisant la metrique du chi-deux, les distributions d’un pro¬ 
gramme observe aux distributions correspondantes d’un programme theorique 
dont les valeurs, utilisEes comme repere, sont significatives. 11 reste done a Etablir 
les valeurs du programme thEorique. 


Productions des pourcentages du programme theorique 

Les valeurs des ElEments d’information d’un programme ayant EtE recueillies, 
on desire savoir dans quelle mesure ce programme s’eloigne d’un programme 
theorique aux valeurs significatives. Ce programme est en quelque sorte une 
abstraction, une sorte d’archetype, un modEle. 

Programme de reference 

Pour fabriquer le programme theorique, unique base des comparaisons, on part 
de ce qu’on appellera un programme de ref&ence correspondant a un programme 
fictif somme de tous les programmes qui participent aux comparaisons. La 
colonne 1 et la colonne 2 de la fiche reprEsentant les rEsultats du programme a 
evaluer, les colonnes 3 et 4 les rEsultats du programme de re'fe'rence, e’est-a-dire 
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FIGURE 3 

EVOLUTION DU SCORE BRUT D' UN ELEMENT □'INFORMATION 

Pour un pourcentage theorique egal a 20 50 et 80 



0 10 20 30 40 50 60 70 BO 90 100 

Pourcentage observe 


Pour un pourcentage theorique fixe a 20%, le score d’un element d’information dont le 
pourcentage observe est 0% sera 25. Un ecart de 20 points en pourcentage produit done 
un score brut de 25. Le meme ecart produit h partir d’un pourcentage theorique de 50% 
produira un score brut egal a 16. La valeur d’un score brut est tributaire non seulement de 
I’ecart entre le pourcentage observe et le pourcentage the'orique, mais aussi de la valeur 
Intrinseque du pourcentage theorique, autrement dit de sa place sur une dchelle graduee 
de 0 a 100. 

les resultats de I’ensemble des programmes de la comparaison (ensemble de tons 
les programmes de TUniversite, ou de tons les programmes du ler cycle, ou de 
tous les baccalaureats, etc.). On fait subir ensuite aux distributions du programme 
de reference (colonne 4) certains ajustements appropries, caracte'rises par un 
coefficient d’ajustement, en colonne 5; les valeurs theoriques des elements 
d’information (colonne 6) sont calcules alors ^ partir des valeurs correspondantes 
des colonnes 4 et 5. 
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Ajustement des pourcentages de reference 

Supposons que dans le programme a evaluer la proportion des abandons soit 
X = 41.30 et que dans le programme mis dans la comparaison cette proportion 
soit: a = 44.42 alors le score brut de cet element d’information sera egal a 0.394 
(formule 1). 

Supposons que la proportion d’abandon soit maintenant x = 47.54 et, comme 
precedemment, a = 44.42, le score brut sera toujours egal a 0.394. 

Done pour deux valeurs, symetriques autour de 44.42, on obtient le meme 
score. C’est-a-dire que ces programmes, toutes choses dtant e'gales par ailleurs, 
obtiennent le meme score (0.394) alors que I’un a 41.307o d’abandons et que 
I’autre en a 47.54%. Ceci est bien entendu lie a la forme quadratique de I’expres- 
sion alggbrique qui fournit le resultat numerique (Fig. 3). Si on n’y prend pas 
garde, ceci risque de poser des problemes quant a I’interpretation a donner 
ulterieurement aux scores bruts, Ce que privilegie la metrique choisie e’est la 
valeur a atteindre qu’on I’aborde par valeurs inferieures ou par valeurs supe'rieures: 
tout ecart donne une mesure positive. Si I’dvaluateur estime cela juste la question 
est regle'e, mais si I’evaluateur estime, par exemple, anormal que deux program¬ 
mes, ayant respectivement 41.30% et47.54% d’abandons, aient le meme score, 
il faudra qu’il trouve alors une base dont la valeur soit telle que I’abandon par 
valeurs inferieures ou par valeurs superieures n’a plus aucune importance. En 
reprenant I’exemple des taux d’abandon, I’e'valuateur pent estimer souhaitable 
un taux de 20%, c’est-a-dire qu’un programme qui aurait un taux infdrieur a 
20% verrait son score brut croitre. Mais cette situation serait jugee recevable a 
,ce niveau. 

II s’agit done de trouver pour chaque dldment d’information, a partir de sa 
valeur de reference, une valeur theorique nouvel objet de comparaison qui 
attenuerait, si besoin est, le phenomene lie' a la forme quadratique de I’expression 
algebrique calculant le score brut. Sur une ^chelle graduee de 0 a 100, on deplace, 
en fait, le repere de telle sorte que soit significatif tout ecart inddpendemment 
de la maniere dont il est produit. 

Si 20% d’abandon est un pourcentage theorique alors on estime raisonnable 
de manifester par un meme chiffre positif un pourcentage observe' de 15% ou 
de 25%. 

Mise en place des pourcentages theoriques 

a) La valeur de refe'rence n’est pas utilise'e en tant que telle. On peut en effet 
decider que, quel que soit le resultat sur I’ensemble des programmes, la valeur 
theorique devrait etre un chiffre donne. Dans cette situation la valeur de re'fbrence 
n’est la qu’a titre d’information; dclaire de sa presence la de'cision d’attribuer 
telle ou telle valeur thdorique. 

b) La valeur de re'ference devient la valeur theorique. Cette situation s’oppose 
a la precedente. 

c) La valeur de reference modifiee devient la valeur the'orique. Dans cette 
situation, la distribution theorique de I’^lement d’information est une distribu- 
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tion qui, comparee a la distribution de reference, produit unchi-deux egale a 1.32. 

Si r est la valeur de reference; 
t est la valeur the'orique. 

L’enoncd prece'dent revient a resoudre I’equation du chi-deux appliquee a des 
structures bipolaires. 


1.32 = (t-r)^ * 


100 

2 * (100-r) 


[132 

t = r ± V- * r * (100-r) 

>100 ^ ^ 


La resolution de I’equation du chi-deux appliquee a des structures bipolaires, 
donne deux solutions. La valeur theorique egale la valeur de reference plus ou 
moins un dcart. Selon que Ton veut privilegier une valeur plus petite pu plus 
grande que la valeur de reference, on choisira Tune ou I’autre solution. On remar- 
quera que, dans cette situation, la valeur theorique est lie'e a la valeur de re'fe'rence 
par une expression algebrique. II aurait etd possible de choisir d’autres liens (liai¬ 
son par un ratio par exemple). Le choix de la metrique du chi-deux, dans ce cas 
la, est interessant parce qu’il existe une distribution theorique calculee a partir 
de laquelle on peut dire quelque chose. On sait en effet que la probabilitd pour 
que le chi-deux d’un echantillon aleatoire a un degrd de liberte' soit compris entre 
0 et 1.32 est 75%. Ce chiffre 1.32 ne renvoit done qu’a une situation ideale. On 
pense, bien entendu, a la courbe normale etautraditionnel68%des echantilions 
de la population totale dont la moyenne est comprise entre moins un et plus un 
ecart-type autour de la moyenne de la population. On fait reference a ce 68% 
meme si la situation n’es pas “normale”. On sait “qu’en gros” 68%dese'chantil- 
lons se trouvent entre moins un et plus un e'eart-type. Pour un degre' de liberte' 
on sait que 75% des echantilions ont un chi-deux compris entre 0 et 1.32, dans 
la situation ideale. De meme que dans certaines situations on privile'giera au lieu 
de la moyenne, la moyenne plus ou moins son e'eart-type sans pour autant faire 
des hypotheses inferentielles (du moins explicitement), de meme ici dans certaines 
circonstances on privilegiera, au lieu de la valeur de reference, cette valeur plus 
ou moins un ecart. Lorsque 1.32 est choisi, on prend comme norme une valeur 
significative de I’espace ideal sans prejuger en rien de la situation de I’espace 
concret. Ce choix est fait en dehors de toute hypothese: on prend, dans I’espace 
ide'al, un repere significatif qui lui est propre, faute d’avoir actuellement des 
reperes pragmatiques signjficatifs. On retiendra done que, dans le fait d’avoir lie 
la valeur theorique a la valeur de reference par une expression du type chi-deux: 

a) qu’il n’y a aucune hypothese inferentielle ; 

b) qu’on prend dans I’espace ideal les reperes qui lui sont propres; 

c) qu’on ne desespere pas trouver, a I’usage, des reperes pragmatiques signifi- 
catifs, fruits de I’experience. 
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La colonne 5: coefficient d’afustement 

Dans la colonne 5 on place le coefficient d’ajustement sous la forme d’un chiffre; 

— Si ce chiffre est nul, alors la valeur theorique est e'gale a la valeur de reference; 

— Si ce chiffre est positif, alors la valeur theorique est e'gale a la valeur de 
reference plus un dcart; 

— Si ce chiffre est negatif, alors la valeur theorique est egale a la valeur de 
reference moins un ecart; 

— Si ce chiffre e'gale 99999 alors la valeur theorique n’a aucun lien algebrique 
avec la valeur de reference. 

Lorsque le chiffre designe qu’il existe une liaison entre le pourcentage the'orique 
et le pourcentage de reference, il est tel que dans I’espace de la distribution 
theorique du chi-deux, on puisse deduire le pourcentage des echantillons dont la 
valeur du chi-deux est comprise entre zdro et la valeur absolue du chiffre. 

La colonne 6: pourcentage theorique 

Cette colonne re 9 oit les pourcentages theoriques, produit de I’union descolonnes 
4 et 5, a partir desquels seront calcules les scores bruts. 

La colonne 8: etoilement des elements d’information 

La colonne 8 etoile les scores des elements d’information dont la valeur est 
superieure a un certain seuil. On prend, a titre experimental, pour seuil le 1.32 
de la distribution theorique du chi-deux, faute de mieux. Lorsqu’on disposera 
d’un critere plus “concret” il faudra I’utiliser. En attendant, la situation “ide'ale” 
d’un element d’information est d’appartenir au 75% des echantillons ale'atoires 
de la distribution theorique du chi-deux, echantillons dont le chi-deux est com- 
pris entre 0 et 1.32. On pourrait imaginer une situation ou I’ide'al pour un ele'ment 
d’information serait d’avoir un score infdrieur au score d’un ele'ment d’informa¬ 
tion temoin. Faute d’avoir ce temoin, la distribution theorique du chi-deux en 
fera I’office. Ce qui est, apres tout, son principal interet et ce pourquoi elle 
fut tabulee. 

Poids intra et inter groupes, colonnes 9 a 12 

La colonne 9 donne un poids a chacun des Elements d’information d’un ensemble. 
Par exemple dans I’ensemble “Bilan migratoire depuisl’ouverture du programme”, 
le nombre de diplomes re 9 oit un poids de .30, le nombre d’abandons obtient .40, 
le nombre d’absents .20 et le nombre des inscrits a la derniere session .10. Notez 
que ces choix sont hypothetiques et laisses a la discretion des evaluateurs. Souli- 
gnons aussi que par hypothese la somme des poids des ele'ments d’information de 
chacun des ensembles doit toujours donner 1.0. 

La colonne 10 pondere les scores bruts de la colonne 7 par les poids de la 
colonne 9. Les scores ponderes correspondent done au produit des scores bruts 
par les poids de la colonne 9. On attribue a la colonne 11 un poids a chacun des 
ensembles d’elements d’information. La somme des poids doit etre dgale a 1.0. 
Les poids peuvent varier d’un ensemble a I’autre. Par exemple, si on accorde .10 
au bilan migratoire, on donne .30 a revolution de la clientele, .025 a I’ensemble 
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3 et .05 a I’ensemble 5. Comme pour les poids de la colonne 9, ceux de la colonne 
11 pourront varier au grd des evaluateurs. 

Enfin la colonne 12 est le produit de la somme des scores ponde'rds obtenus 
pour chaque ensemble d’6l6ments d’informations par le poids attribue a chaque 
ensemble d’elements d’informations. Plus precisement, on multiplie le contenu 
de la colonne 11 par la somme des scores ponderds de chaque ensemble apparais- 
sant a la colonne 10. La somme des scores de la colonne 12 donne le score final 
du programme. Ce score final permet de classer les programmes les uns par 
rapport aux autres. Le score final du programme fictif evalue au tableau 1 est 
de2.96. 


CONCLUSION 

Assiste par ordinateur, notre modele peut etre asservi facilement a la volonte 
des dvaluateurs. Tout au long de la consultation, il pourra subir toutes les modifi¬ 
cations voulues. A la fin du processus, sa forme pourra etre tres diffdrente de celle 
de depart. Comme nous I’avons deja souligne, notre modMe est une reponse aux 
problemes techniques et politiques pose's par I’activite' d’e'valuation: il perme de 
situer toute la problematique de revaluation tout en fournissant un cadre suscepti¬ 
ble de la resoudre. Il rend a cette activite' toute la dynamique qui lui est propre. 

Notre module produit des effets en retour (de retroaction) sur I’activite' d’dva- 
luation elle-meme et sur le systeme d’information en ge'neral. Ses qualit^s plasti- 
ques menent a la limite au renouvellement de sa forme initiale et a la creation 
d’une version finale completement renouvelee. Une nouvelle definition de I’acti- 
vite d’evaluation peut meme en sortir, les elements d’information, les criteres et 
les normes retenus au depart ayant etc profonddment modifies au cours du 
processus d’evaluation. 

L’eiaboration et I’adoption de notre modele ne peut avoir que des effets 
positifs sur le systeme d’information de gestion. Inevitablement, les donne'es 
ndcessaires a revaluation seront vitalisees. Utilisees, leur qualite' et leur fiabilite 
s’amelioreront. Le developpement ou ajustement des procedures propres a fournir 
les donnees utiles s’effectuera ndcessairement. Enfin, seront assurees I’inte'grite 
et la pere'nite' du systeme d’information de gestion ainsi redefini et re'oriente par 
le processus d’evaluation. 

NOTES 

1. Le concept retenu est celui developpe par Jean Meleze dans L’Analyse modulaire des 
systemes. Paris, 1972. 

2. Birch, D.W. et autres. The Development of Performance Indices for the Teaching Func¬ 
tion in Higher Education. Paris: Center for Educational Research and Innovation, 1974. 

3. Chaque attribut pour lequel une donnee est collecte'e est un element d’information 
(Hussain, 1977). 

4. Le critere est la qualite d’un programme d’etude que doit montrer I’eldment d’informa¬ 
tion et la norme, le degre souhaite pat les dvaluateurs de realisation du critere cotrespon- 
dant. Si le taux d’abandon est un element d’information, son critere peut etre que sa 
valeur correspondante soit la plus faible possible et sa norme fixee a 10%. 
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